Law of Large numbers(큰 수의 법칙)

전체 모집단(population)에서 일부를 random하게 모은 표본(sample)의 평균이, 뽑은 표본의 수가 많아질 수록 전체 모집단 평균에 가까워진다는 이론.

각 표본은 서로 독립적이고, 동일한 분포라는 필요조건이 있어야 한다.

즉, 각각 iid한 표본 $X_{j}$ 에 대해서 표본 평균(sample mean)은

\overset{ˉ}{X}_{n} = \frac{j = 1 \sum n X _{j}}{n}, n \to \infty lim \overset{ˉ}{X}_{n} = μ

도박사의 오류와 다른 점은, 도박사의 오류는 과거의 편향이 미래에 보상이 될 것이라는 착각에서 비롯된 것이지만, LLN은 과거의 편향이 표본 수가 매우 커지면서 과거의 편향이 영향이 없을 정도로 작아져 결국에는 전체 평균으로 수렴하게 된다는 것이다.

Weak Law of Large numbers

강한(strong) 큰 수의 법칙은 반드시 $μ$ 로 수렴하게 된다는 것을 의미한다.

반면 약한(weak) 큰 수의 법칙은 sample mean이 실제 평균에서 떨어져 있을 확률이 $n$ 이 커질수록 0에 가까워진다. 즉, 어떤 작은 양수 $c > 0$ 에 대해

P (\overset{ˉ}{X}_{n} - μ > c) \to 0 as n \to \infty

체비셰프 부등식으로 간단하게 증명된다.

P (\overset{ˉ}{X}_{n} - μ > c) \leq \frac{V [ X ˉ _{n} ]}{c ^{2}}

V [\overset{ˉ}{X}_{n}] = V [\frac{1}{n} j = 1 \sum n X_{j}] = \frac{1}{n ^{2}} j = 1 \sum n V [X_{j}] = \frac{1}{n ^{2}} n \cdot σ^{2} = \frac{σ ^{2}}{n}

P (\overset{ˉ}{X}_{n} - μ > c) \leq \frac{V [ X ˉ _{n} ]}{c ^{2}} = \frac{σ ^{2}}{n c ^{2}}

⇒ $n$ 이 무한으로 감에 따라, 우변이 0이 되므로 성립한다.